Từ 1997 đến 2002, ông là đại biểu Quốc hội Việt Nam khóa X tỉnh Vĩnh Phúc, ông đồng thời là Tỉnh uỷ viên, Viện trưởng VKSND tỉnh Vĩnh Phúc, Chủ tịch BCH Hội luật gia tỉnh Vĩnh Phúc, Uỷ viên Ủy ban Pháp luật của Quốc hội khóa X.

Ngày 11/10/2010, Thủ tướng Chính phủ đã ký Quyết định số 1876/QĐ-TTg điều động, bổ nhiệm Nguyễn Ngọc Phi, Phó Bí thư Tỉnh ủy, Chủ tịch UBND tỉnh Vĩnh Phúc, giữ chức Thứ trưởng Bộ Lao động - Thương binh và Xã hội.[2]

Ngày 1 tháng 12 năm 2010, ông được miễn nhiệm chức vụ Chủ tịch Ủy ban nhân dân tỉnh Vĩnh Phúc để nhận nhiệm vụ mới là Thứ trưởng Bộ Lao động - Thương binh và Xã hội Việt Nam.[3]